Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
计算机系统的程序或功能中存在的软件漏洞是一个严重且至关重要的问题。通常，在由数百或数千个源代码语句组成的程序或功能中，只有很少的语句引起相应的漏洞。当前，在机器学习工具的协助下，专家在功能或程序级别上进行了脆弱性标签。将这种方法扩展到代码语句级别的成本更高和耗时，并且仍然是一个开放的问题。在本文中，我们提出了一种新颖的端到端深度学习方法，以识别与特定功能相关的脆弱性代码语句。受到现实世界中脆弱代码中观察到的特定结构的启发，我们首先利用相互信息来学习一组潜在变量，代表源代码语句与相应函数的漏洞的相关性。然后，我们提出了新颖的群集空间对比学习，以进一步改善与脆弱性相关的代码语句的强大选择过程。 200K+ C/C ++功能的实际数据集的实验结果表明，我们方法的优越性比其他最先进的基线相比。通常，我们的方法在无需监督的环境中在现实世界数据集上运行时，在Baselines上，VCP，VCA和TOP-10 ACC测量的较高性能在3 \％至14 \％之间。我们已发布的源代码样本可在\ href {https://github.com/vannguyennd/livuitcl} {https://github.com/vannguyennd/livuitcl。} {
translated by 谷歌翻译
由于计算机软件的普遍性，软件漏洞（SVS）已成为普遍，严重和至关重要的问题。已经提出了许多基于机器学习的方法来解决软件漏洞检测（SVD）问题。但是，关于SVD仍然存在两个开放和重大问题，就i）学习自动表示以提高SVD的预测性能，ii）解决常规需要专家的标签漏洞数据集的稀缺性数据集。在本文中，我们提出了一种新颖的端到端方法来解决这两个关键问题。我们首先利用自动表示学习，并具有深层域的适应性，以进行软件漏洞检测。然后，我们提出了一个新型的跨域内核分类器，利用最大额度额定原则，以显着改善从标记项目到未标记的项目的软件漏洞的传输学习过程。现实世界软件数据集的实验结果表明，我们提出的方法优于最先进的基准。简而言之，与使用数据集中的第二高方法相比，我们的方法在SVD中获得了更高的F1量化性能，这是SVD中最重要的度量，从1.83％到6.25％。我们已发布的源代码样本可在https://github.com/vannguyennd/dam2p上公开获取
translated by 谷歌翻译
大型语言模型已经证明了能够在自然语言和编程语言文本上进行条件和生成的能力。这样的模型打开了多语言代码生成的可能性：代码生成模型是否可以将知识从一种语言推广到另一种语言？尽管当代代码生成模型可以生成语义上正确的Python代码，但对它们使用其他语言的能力知之甚少。我们通过提出Multipl-E来促进该主题的探索，这是自然语言到代码生成的第一个多语言平行基准。 Multipl-E扩展了HumaneVal基准（Chen等，2021），以支持另外18种编程语言，涵盖了一系列编程范式和受欢迎程度。我们在Multipl-E：Codex和Incoder上评估了两个最先进的代码生成模型。我们发现，在几种语言上，法典匹配，甚至超过了其在Python上的性能。在多型E中表示的编程语言范围使我们能够探索语言频率和语言功能对模型性能的影响。最后，将代码生成基准分配给新编程语言的多重方法既可扩展又可扩展。我们描述了一种通用方法，可以轻松地增加对新基准和语言的支持。
translated by 谷歌翻译
经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。
translated by 谷歌翻译
他们早期阶段的脑转移（BM）的检测可能对癌症患者的结果产生积极影响。我们以前开发了一种在T1加权对比度增强3D磁共振图像（T1C）中检测小BM（直径小于15mm）的框架，以帮助医学专家在这次时间敏感和高赌注任务中。该框架利用使用标记的T1C数据训练的专用卷积神经网络（CNN），其中基本真理BM分段由放射科医师提供。本研究旨在通过嘈杂的基于学生的自我培训策略推进框架，以利用未标记的T1C数据的大语料库（即，没有BM分段或检测的数据）。因此，工作（1）描述了学生和教师CNN架构，（2）提出数据和模型通知机制，（3）在框架的学习BM检测灵敏度中介绍了一种新的伪标记策略分解。最后，它描述了利用这些组件的半监督学习策略。我们通过2倍交叉验证使用标记为217和1247个未标记的T1C考试进行验证。仅使用标记的考试的框架产生了9.23个假阳性90％BM检测灵敏度;然而，使用所引入的学习策略的框架导致了相同的灵敏度水平的假检测（即8.44）减少了〜9％。此外，虽然利用75％和50％标记数据集的实验导致算法性能降级（分别为12.19和13.89误），但随着基于嘈杂的学生的培训策略（分别为10.79和12.37误报），影响不太明显。
translated by 谷歌翻译
交叉设备联合学习（FL）是一种分布式学习范例，具有几种挑战，这些挑战将其区分离为传统的分布式学习，每个设备上的系统特征的可变性，以及数百万客户端与主要服务器协调。文献中描述的大多数FL系统是同步的 - 它们从各个客户端执行模型更新的同步聚合。缩放同步FL是挑战，因为增加了并行培训的客户数量导致训练速度的回报递减，类似于大批培训。而且，陷阱妨碍了同步流动训练。在这项工作中，我们概述了一种生产异步流行系统设计。我们的工作解决了上述问题，一些系统设计挑战及其解决方案的草图，并触及了为数百万客户建立生产流系统的原则。凭经验，我们证明异步流量在跨越近一亿台设备时比同步液更快地收敛。特别地，在高并发设置中，异步FL速度快5倍，并且具有比同步FL更小的通信开销差距。
translated by 谷歌翻译
我们介绍了一个免费的开源的Pytorch库，用于培训具有差异隐私的深度学习模型（在Https://opacus.ai托管）。遮光罩是为了简单，灵活性和速度而设计的。它提供了一个简单和用户友好的API，并使机器学习从业者能够通过向其代码添加两条线来制作培训管道私有。它支持各种各样的层，包括多主题注意，卷积，LSTM和嵌入框，它还提供了支持其他用户定义的图层的手段。遮光罩计算的每个样本梯度批量，与传统的“微批量”方法相比，提供更好的效率。在本文中，我们介绍了opacus，详细介绍了推动其实现和独特功能的原则，并将其对ML中差别隐私的其他框架进行比较。
translated by 谷歌翻译
可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。
translated by 谷歌翻译
Here, we demonstrate how machine learning enables the prediction of comonomers reactivity ratios based on the molecular structure of monomers. We combined multi-task learning, multi-inputs, and Graph Attention Network to build a model capable of predicting reactivity ratios based on the monomers chemical structures.
translated by 谷歌翻译